Міністерство освіти та науки України
Національний університет
“Львівська політехніка”
Кафедра програмного забезпечення
Курсова робота
з курсу
“Методи та засоби комп’ютерних
інформаційних технологій”
Львів 2002
Зміст
Формулювання завдання №1. 3
1.1 Ентропія.Властивості ентропії 3
1.2 Розв’язок задачі. 5
1.3 Висновок. 5
2. Формулювання завдання №2. 6
2.1 Основні положення і відношення для розрахунку схеми. 6
2.2 Текст програми. 9
2.3 Графіки залежностей. 11
2.4 Висновок. 12
3. Формулювання завдання №3. 12
Побудова коду Хемінга.Виправлення помилки. 12
3.2 Текст програми. 15
3.3 Висновок
Варіант №6
1.Формулювання завдання № 1.
В результаті статичних випробувань встановлено, що при передачі 100 повідомлень символ К зустрічається 50 раз, символ Т –30 раз, разом з симолом К символ Т зустрічається 10 раз. Визначити умовні ентропії Н(К/Т) і Н(Т/К).
1.1Ентропія.Властивості ентропії.
Довільне повідомлення, з яким ми маємо справу в теорії інформації, являє собою сукупність даних про деяку фізічну систему. Повідомлення має зміст лише тоді, коли стан системи був до нього невідомий (випадковий). Повідомлення, яке отримав приймач, буде тим цінніше, чим більше невідомої інформаціїї для приймача воно в собі містить. В якості міри невизначеності системи в теорії і нформації застосовується спеціальна величина, яка носить назву ентропія. Ентропія стану системи – це питома кількість інформації, яка припадає на один символ повідомлення.
Ентропія ансамбля
Ентропією дискретного ансамбля повідомлень називається математичне очікування власної кількості інформації ансамбля:
Логарифм може мати довільну основу (вібір основи – це вибір одиниці виміру ентропії), але доцільно використовувати основу 2 для зручності роботи з ентропією на обчислювальній техніці.
Розглянем деякі властивості ентропії:
, причому тоді і тільки тоді, коли існує деяке , таке, що і для ,.
Дійсно, так як кількість власної інформації в кожному повідомленні невід’ємна, то невід’ємна і середня кількість інформації. Далі, якщо , то . Звичайно вважають при , оскільки .
В усіх інших випадках .
Якщо ансамбль містить повідомлень, то
,
рівність має місце в тому і тільки тому випадку, коли для всіх , тобто, коли розподіл на множинірівномірний.
Основні властивості ентропії:
Ентропія є неперервною і додатньою величиною.
Ентропія приймає мінімальне значення в двох випадках:
а) Повідомлення складається з однієї ознаки, ймовірність появи якої – 1
б) Якщо ймовірність j-ї ознаки=0 або близька до 0.
Ентропія досягає максимуму, коли всі можливі випадки досліду є рівноможливими.
Ентропія повідомлення, яке складається з деякого числа окремих повідомлень дорівнює сумі ентропій кожного повідомлення зокрема.
Ентропію складної системи можна представити у вигляді: H(X,Y)=H(X)+H(Y/X), де H(X,Y) – це повна умовна ентропія.
1.2 Розв’язок задачі.
Загальна кількість переданих символів
N=100*5=500
Ймовірність появи символа К
Р(к)=50/500=0.1
Ймовірність появи символа Т
Р(т)=30/500=0.06
Ймовірність спільної появи К і Т
Р(кт)=10/500=0.02
Так як Р(кт)=Р(т)Р(к/т)=Р(к)Р(т/к), то умовна ймовірність появи символа К відносно Т:
Р(к/т)=Р(кт)/Р(т)=0.02/0.06=0.33
Умовна ймовірність появи символа Т відносно символа К
Р(т/к)=Р(кт)/Р(к)=0.02/0.1=0.2
Умовна ентропія К відносно Т
Н(к/т)=-
Умовна ентропія появи символа Т відносно К
Н(т/к)=-(0.2log0.2+0.8log0.8)=0.7219 біт/символ
1.3 Висновок.
Якщо відомо, що дана подія гарантовано може відбутися або не відбутися, то її ентропія мінімальна і дорівнює нулю.
Якщо подія може відбутися або не відбутися з рівною ймовірністю, то ентро...
